i-Refill | 昨晚，AI高清修复市场再次引起关注
#i-Refill
欢迎回到i-Refill!
昨晚，相信你被张国荣线上演唱会高清修复版刷屏了。
作为哥哥生前最后一场演唱会，《热•情》演唱会是倾注了他对华语乐坛的满腔热忱，央视曾给出这场演唱会 “从表演形态、艺术理念、服装道具、观众反响都代表着中国演唱会的最高水准，至今无人超越”的超高评价。
一场演艺巅峰重现背后，AI修复技术再一次用超越时间的魔力惊艳我们，AI高清修复市场也再次引起关注。
哥哥演唱会背后有怎样的修复技术？AI修复技术还能做什么？
老电影在AI修复技术中能焕发怎样的光彩？
一起来看看！
全文共2511字
阅读时间约3min
01
《热·情》演唱会的AI修复技术
从修复前后的对比来看，母带分辨率只有720×480分辨率，修复以后腾讯将其做到了接近4K的分辨率，提升了6倍的分辨率让无数歌迷得以沉浸式感受张国荣的魅力。
图源：腾讯多媒体实验室
而这样高强度的分辨率提升修复工作，是从3月初才正式启动的。在技术的支持下完成进展神速，以往需要修复1-2个月的2个小时演唱会，此次单纯的算法修复环节耗时只用了2天。
目前，对于胶片产品的修复主要有物理修复和数字修复两种，而数字修复也有人工修复和全自动修复两种方式。全自动的基于机器学习和深度学习的修复可以大大减少人力介入，减轻了人工修复的成本。
另外，昨晚的直播视频中，因为清晰画面而呈现的现场感，让我们有了身临其境的美好感受，超清沉浸感修复引擎是幕后功臣。这种面向老片修复场景专门推出的技术解决方案，涵盖四大智能分析、画质修复、画质增强和智能编码4个技术模块
硬核科普一下:
智能分析模块
主要用来分析视频的质量，包括失帧的类型和程度，人脸的位置等。
修复模块
主要用于修复视频中的各种失帧，比如老片中常出现的噪声、隔行失帧，然后对清晰度低的片段进行超分。
增强模块
主要是让图像本身的内容更清晰，更丰富。
编码模块
在尽量低码率的情况下还原视频内容，因为在直播和点播过程中，对码率有一定要求。
在AI技术的叠用下，昨晚我们看到了连假发发丝和面部阴影都清晰可见的张国荣。
02
AI修复技术与百年前的中国
相信你一定刷到过下面“AI修复百年前老北京”的系列视频。所谓“百闻不如一见”，长袍马褂、胡同门楼……视频呈现出的是老北京最原汁原味的风光，也勾起许多人的历史情怀。
百年前的北京城AI修复前后效果对比（作者：大谷）
这些视频源自AI修复师大谷的B站账号。他从2019年年底开始接触、学习AI修复，“AI修复百年前的北京城”是他的首个火爆出圈的修复作品。
感兴趣的朋友可以去大谷主页欣赏更多视频
大谷的视频主要使用了DAIN、DeOldify和ESRGAN3个开源项目，帮助他分别完成视频的补帧、上色、扩增分辨率。
硬核科普again:
补帧算法-DAIN
DAIN算法运行的原理是：先获取视频深度信息、检测出物体遮挡情况。然后，从相邻像素收集上下文信息，来完成层次特征学习。最后，基于上述信息生成视频帧。上色算法-DeOldify
DeOldify基于GAN（生成对抗网络）训练，后者也是DeepFake技术常用的神经网络模型。GAN由一个生成网络和一个判别网络组成，学习过程中，生成网络和判别网络通过相互博弈，生成逼真的图像，即生成网络随机为一帧图像上色，让判别网络判断这张图片的逼真程度，继而根据判别网络给出的反馈不断提高“上色”能力，最终生成颜色逼真的图像。扩分辨率算法-ESRGAN
ESRGAN算法同样基于GAN模型，利用生成网络和判别网络的相互博弈，实现画面的超分辨率重建。得益于上述AI修复技术，大谷和央视又合作推出了“AI修复百年前北京城2.0”，着重展现民俗礼乐、地摊叫卖等老北京的街头风貌。
当然，AI技术除了高清修复，还能“由静转动”。越玩越停不下来的大谷用脸部生成技术（PaddleGAN和Artbreeder）以及AI Studio，把我国历史上历代皇帝们的画像生成为一张张动态的面孔。
小编不允许有人没看过宋太祖赵匡胤真人秀！！！
当然，AI技术也被应用在了人脸识别上，比如通过比对脸部特质，找到和历史人物最接近的演员脸。
03
AI修复技术与老电影
在电影行业中，电影修复领域是一个神秘地带。
如今各大电影节也设立了修复单元。2019年第72届戛纳国际电影节，中国电影资料馆修复的4K48帧版《盗马贼》入围戛纳经典单元并受邀展映。一部经典的胶片老电影以全新的面貌登上国际的大银成为我国电影修复事业的里程碑，也让大家再次对电影修复燃起好奇。
电影修复虽然小众，但是是行业中非常有发展活力的一环，也是一份抢救历史的责任。
一部修复电影作品要和我们见面，需要经过清洁（将胶片进行清洁和物理修复）、转数（胶片数字化转换）、画面修复（转数后进行画面精致修复工作）、调色（对画面进行色彩还原）、合成（合成声音画面）、鉴定（在大银幕上做技术鉴定）和存储（多样式保存，包括录像带、硬盘、ODA光盘存储）6道工序。
电影修复十分需要耐心和专业度，一部普通时长电影的修复时间基本为一个月。
一部电影每秒24帧，一部片子将近12万帧，对于物理修复清洁工作来说，先要对影片进行校准，校准时的扫描速度是每秒一帧，过程中有轻微的抖动，便失之毫厘差之千里。校准后才是对有撕裂、霉斑、划痕等问题的胶片进行修复。而接下来的电影调色工作，需要的不仅是耐心、技术，同时要求修复者的审美。大部分情况下，影片主创也会加入，指导完成修复工作。
当然，在影片上映前不仅仅只有修复这一道工序，还要经过声音和画面的合成，做反复的调试和审片。
此外，修复电影不仅仅只需要技术，富有创作的审美也是必要条件，同时还需要对电影画面的充分理解。和对哥哥演唱会的修复审美一样，从画面声音还是色彩光线，都要有贴合原片、又能满足观众的高水平审美品味。
20年前的演唱会、100年前的中国、历史画像、老电影......AI修复技术给予了经典重生的机会，也正逐步深入各类影视修复领域。
《超高清视频产业发展行动计划》显示，到2022年，超高清视频产业总规模要超4万亿元。超高清视频修复市场也蕴藏巨大潜力，让视听行业嗅到了藏在老影像里的新生意，目前虽是一个公益市场，但也是一个巨大的商业市场。
随着观看设备升级换代，技术的展现方式又可以进行一轮新的换代。因此，“超高清视频修复市场需求巨大，我觉得这个趋势会一直延续下去。
期待能有更多经典通过技术被修复，能让更多人回味美好旧时光，也让年轻人感受、传承被岁月沉淀的、历久弥新的文化价值。
这些文章也好看